Triệu Hà là con thứ của Triệu Vũ Linh vương, mẹ là Ngô Mạnh Diêu (吳孟姚), con gái của Ngô Quảng (吳廣). Vũ Linh vương một hôm nằm mộng thấy 1 người con gái đẹp, mê đắm tương tư. Một dịp yến tiệc Vũ Linh vương nói với các đại thần về giấc mộng và tả dung mạo của người con gái đó, Ngô Quảng nghe thấy giống con gái mình, đành tiến dâng lên cho Triệu vương. Ngô cơ được gọi là Ngô Oa (吳娃), nhan sắc nức trời, được Triệu vương vô cùng sủng ái, lập làm Vương hậu. Ông được sinh ra không lâu sau khi mẹ ông được phong.

Khi đó, Triệu Vũ Linh vương tuy đã có người con trưởng là Triệu Chương (趙章), nhưng lại yêu quý Ngô Oa, nên bỏ Chương để lập Công tử Hà là con Ngô Oa. Năm 301 TCN, Ngô Oa qua đời, Vũ Linh tuổi cũng đã cao, nên ông quyết định nhường ngôi cho Thái tử.

Ngày Mậu Thân tháng 5 năm 299 TCN, Vũ Linh vương đại triều ở Đông cung, xuống chiếu thoái vị, nhường ngôi cho Triệu Hà, tức Triệu Huệ Văn vương. Khi đó Triệu Hà mới 12 tuổi. Triệu Ung tự xưng làm Chủ phụ (主父), phong Phì Nghĩa (肥義) làm tướng quốc để giúp đỡ ông.